How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents
模型增长、递归与边界算子如何影响 scaling 指数
🧭 模型架构与训练效率 scaling 分析
New York University · Q Labs
发现架构干预可改变预训练 scaling 指数，循环深度带来计算效率随规模递增的指数级收益
📌 工作参考价值（4 点）
- 在算力受限的推荐/广告大模型训练中，可尝试循环深度（looped transformer）实现参数共享下的模型增长：训练时逐步增加循环次数，比单纯堆叠层更省显存，且计算效率随规模提升。
- 边界算子（boundary operator）对 vanilla transformer 即插即用，仅通过归一化并注入前一个 block 就能获得递增的计算效率增益，适合作为轻量级改进直接迁移到现有架构。
- 数据受限、多 epoch 场景下，循环深度有正则化效果，推荐在用户行为序列等重复训练数据上优先增加循环次数而非扩大模型宽度。
- 核心结论：架构干预可以改变 scaling 指数，意味着不再只依赖增大模型和数据，通过设计递归或注入结构可能获得指数级收益，值得在排序/召回大模型预训练中探索。